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摘 要 : [目的 /意义 ] 提 出 一 种 融合 内 部 结构 特征 和 外 部 文本 特征 的 知识 图 谱 关 系 预测 新 方法 , 旨 在 预测 知识 图 谱 中 两 实 
体 间 缺 失 关系 的 类 型 。 [ 方法 /过程 ] 将 关系 路 径 和 反映 实体 间 关 系 的 文本 矩阵 化 ,通过 卷 积 神 经 网 络 学 习 与 特 
定 关系 类 型 相关 的 结构 和 文本 模式 特征 ,在 此 基础 上 训练 模型 实现 关系 预测 。[ 结果 /结论 ] 实验 结果 显示 ,该 方 
法 在 评测 数据 集 上 的 性 能 表现 超过 对 照 方 法 的 水 平 , 可 有 效 提 升 知识 图 谱 关系 预测 的 性 能 。 通 过 实际 应 用 发 现 ， 


该 方法 在 知识 服务 中 具有 良好 的 应 用 价值 。 
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在 大 数据 环境 下 ,网 络 信息 资源 呈 爆 发 式 增长 。 
网 强人 信息 资源 中 蕴含 着 大 量 有 价值 的 知识 ,通过 对 这 
些 知识 的 抽取 和 组 织 可 以 形成 大 规模 知识 库 , 进 而 为 
和 提供 智能 、 高 效 的 知识 服务 。 知 识 图 谱 技 术 在 这 
一 疝 景 下 应 运 而 生 。 知 识 图 谱 (knowledge graph, KG ) 
印 醒 以 结构 化 形式 描述 客观 世界 中 的 实体 与 实体 间 关 
系 半 ,其 将 知识 表示 为 形 如 < h,r,t > 的 三 元 组 形式 ， 
其 日 h,tr 分 别 代表 头 部 实体 .尾部 实体 以 及 两 者 间 关 
冬 全 若 将 三 元 组 中 的 实体 表示 为 节点 ,将 实体 间 的 关 
系 站 示 为 边 ,可 构建 出 一 个 图 结构 的 知识 网 络 。 目 前 ， 
知 溉 图 谱 已 在 语义 搜索 .知识 问答 ,智能 推荐 等 领域 得 
到 团 广泛 应 用 中 ,显示 出 广阔 的 应 用 前 景 。 近 年 来 ,出 
现 了 以 DBpedia , Freebase , CN-DBpedia 为 代表 的 大 规 
模 知识 图 谱 , 尽 管 这 些 知识 图 谱 中 包含 大 量 的 三 元 组 ， 
但 其 知识 仍 远 没有 达到 完备 的 程度 , 如 DBpedia 和 
Freebase 中 分 别 有 66% 和 71% 的 人 物 实体 缺少 出 后 地 
信息 ”3 。 在 此 背景 下 ,知识 图 谱 补 全 研究 具有 非常 重 
要 的 意义 。 

知识 图 谱 补 全 (knowledge graph completion , KGC ) 
任务 旨 在 减少 知识 图 谱 中 的 知识 缺失 ,提高 知识 图 谱 
rni sz d qz pe^ , 璧 如 ,图 1 是 基于 CN-DBpedia 
知识 图 谱 中 三 元 组 数据 可 所 构建 的 局 部 实体 关系 视 
图 ,利用 该 知识 图 谱 中 已 有 的 显 性 知识 可 以 推断 出 “ 马 


化 腾 ” 与 “ 刘 炽 平 "很 可 能 存在 同事 关系 “深圳 ”有 较 
大 概率 为 “马化腾 ”与 “ 刘 炽 平 ” 的 工作 地 ,而 这 些 隐 性 
知识 并 未 在 该 知识 图 谱 中 得 以 体现 。 因 此 , 若 能 将 知 
识 图 谱 中 的 这 些 隐 性 知识 补 全 ,对 于 提升 搜索 引擎 的 
语义 搜索 精度 .完善 知识 问答 和 智能 推荐 系统 的 服务 
质量 具有 重要 的 价值 。 

具体 而 言 ,知识 图 谱 补 全 又 包括 实体 预测 (entity 
prediction ) 和 关系 预测 ( relation prediction ) 两 个 典型 的 
子 任务 "。 其 中 ,知识 图 谱 实 体 预 测 任务 旨 在 根据 三 
元 组 的 头 实体 和 关系 来 预测 并 补 全 尾 实体 ,或 者 根据 
尾 实体 与 关系 来 预测 补 全 头 实 体 , 即 <h,r,?> 和 <?， 
r,t» ;知识 图 谱 关 系 预 测 任务 则 是 根据 给 定 三 元 组 中 
的 头 实 体 和 尾 实体 ,预测 出 两 实体 间 缺 失 关系 的 类 型 ， 
即 <h,?,t >'"。 本 研究 主要 围绕 知识 图 谱 中 的 关系 
预测 问题 展开 。 

知识 图 谱 的 内 部 结构 以 及 知识 图 谱 的 外 部 文本 均 
可 作为 关系 预测 的 依据 ,例如 ,根据 图 1 中 “马化腾 "到 
“ 刘 炽 平 " 间 的 路 径 结 构 , 可 以 推 凯 “马化腾 ”和 “ 刘 炽 
平 " 间 可 能 存在 着 "同事 "关系 , 知 有 文本 提 及 “" 刘 炽 平 
协助 马化腾 管理 公司 的 日 常 运营 ”, 也 可 以 做 出 类 似 的 
推理 ， 而 上 述 两 类 信息 相 结合 可 以 帮助 计算 机 更 加 准 
确 地 识别 出 实体 间 关 系 。 因 此 ,内 部 结构 和 外 部 文本 
在 知识 图 谱 关 系 预 测 任 务 中 具有 互补 性 , 但 当前 将 二 
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1 CN-DBpedia 知识 图 谱 中 的 局 部 实体 - 关系 视图 


者 结合 进行 关系 预测 的 研究 仍 十 分 缺乏 。 针 对 这 一 问 
题 -本 研究 将 探索 一 种 新 的 知识 图 谱 关系 预测 方法 ,其 
的 鞠 之 处 在 于 设计 了 一 种 对 实体 间 关 系 路 径 结 构 特征 
进 竺 学 习 的 深度 学 习 模型 ,并 将 外 部 文本 的 特征 集成 


部 文本 特征 的 关系 预测 集成 模型 。 


1 局 相关 工作 


equa ,针对 知识 图 谐 中 缺失 关系 的 预测 有 两 种 典 
刑 她 法 ;基于 知识 表示 学 习 的 方法 和 基于 关系 路 径 的 


.三 知识 表示 学 习 是 利用 机 器 学 习 技术 学 习 出 知识 图 
EKMAR MIRER EAR 中。 以 TransE 
模 晤 为 代表 的 翻译 模型 是 当前 知识 表示 学 习 的 主流 模 
ELS, Trans 模型 ”将 关系 向 量 视 为 头 实体 疝 量 


示 学 习 的 关系 预测 方法 其 优势 在 于 预测 准确 率 较 高 ， 
且 具 有 较 强 的 通用 性 ,训练 出 的 实体 和 关系 向 量 不 仅 
适用 于 关系 预测 任务 ,也 适用 于 实体 预测 和 三 元 组 分 
类 等 其 他 任务 ;不 足 之 处 在 于 其 主要 关注 以 三 元 组 为 
单元 的 局 部 信息 ,而 较 少 关注 知识 图 谱 的 网 状 结构 与 
关系 间 的 逻辑 推理 。 

关系 路 径 是 知识 图 谱 中 两 实体 间 的 连通 路 径 ,这 
些 连通 路 径 也 能 反映 出 实体 之 间 的 语义 关系 。 基 于 关 
系 路 径 的 方法 使 用 关系 路 径 作为 特征 来 对 实体 间 的 关 
系 类 型 进行 预测 。 卡 内 基 梅 隆 大 学 的 N. Lao 等 所 提 
出 的 路 径 排 序 算法 (path ranking algorithm , PRA ) PLE 
此 类 方法 的 典型 代表 。 该 算法 从 知识 图 谱 中 提取 出 所 
ARAKA r 的 三 元 组 集合 ,以 集合 中 每 个 三 元 组 的 
头 实体 作为 起 点 进行 随机 游 走 , 若 三 步 内 可 到 达 尾 实 
体 , 则 将 该 游 走路 径 m 作为 关系 + 的 一 条 关系 路 径 用 


TH 


和 局 实体 向 量 t 之 间 的 平移 向 量 ,如 h( 腾讯) +r( 董事 
会 主席 ) = 区 马化腾 ) ,通过 最 小 化 h+r 与 1 之 间 的 距 
离 训练 出 实体 和 关系 的 向 量 表 示 。 得 到 每 一 实体 和 关 
系 的 向 量 表示 后 ,通过 寻找 使 h +r 与 1 之 间 的 距离 尽 
可 能 小 的 7, 即 可 预测 出 关 尾 实体 间 的 关系 类 型 。 
TransE 在 处 理 “ 一 对 多 ”“ 多 对 多 ”等 复杂 关系 时 存在 
局 限 性 , 故 一 些 学 者 提出 了 TransE 模型 的 变 体形 式 ， 
如 TransH , TransR 和 TransD 等 ,其 中 TransH ^ 为 不 同 
关系 指定 不 同 的 超 平面 ,从 而 使 一 个 实体 在 不 同 的 关 
系 下 拥有 不 同 的 向 量 表示 ,而 Trans RI Trans D ^ 
型 则 通过 在 不 同 语义 空间 内 表示 实体 和 关系 来 解决 上 
述 问 题 。 除 翻译 模型 外 ,语义 匹配 模型 也 是 知识 表示 
学 习 中 的 一 类 经 典 模 型 ,此 类 模型 将 实体 和 关系 映射 
到 向 量 空间 中 ,通过 相似 度 评价 函数 来 学 习 实 体 和 关 
系 的 隐 含 特征 ” ,代表 性 工作 包括 RESCAL 模型 ”及 
其 改进 模型 DistMult ”和 ComplEx * 等 。 基 于 知识 表 


于 模型 训练 ,通过 逻辑 回归 算法 在 训练 集 上 学 习 出 各 
路 径 相 对 于 关系 + 的 权重 。 接 下 来 ,通过 一 种 路 径 约 
束 的 随机 游 走 (path-constraint random walk ) 方法 来 计 
算 头 实体 沿 着 路 径 m 到 达 尾 实体 的 转移 概率 。 最 后 ， 
使 用 一 个 综合 路 径 权 重 和 转移 概率 的 评分 函数 来 评 佑 
实体 对 间 存 在 关系 + 的 可 能 性 。 基 于 关系 路 径 的 方法 
利用 了 知识 图 谱 的 网 状 结构 与 实体 关系 间 的 逻辑 推 
理 , 具 有 良好 的 可 解释 性 ,但 PRA 对 于 关系 路 径 的 学 
习 能 力 仍 较为 有 限 ,其 关系 预测 性 能 相 比 TransE 等 主 
流 模型 有 一 定 差距 ” 。 

上 述 两 种 方法 均 基于 知识 图 谱 内 部 结构 特征 进行 
关系 预测 ,区 别 在 于 前 者 关注 以 三 元 组 为 单元 的 微观 
结构 ,而 后 者 关注 以 路 径 为 单元 的 宏观 结构 。 除 结构 
特征 外 ,知识 图 谱 外 部 的 文本 信息 也 可 作为 知识 图 谱 
关系 预测 的 依据 。 近 年 来 ,一 些 研究 者 开始 利用 外 部 
文本 信息 改善 知识 图 谱 补 全 的 效果 ,相关 研究 多 是 将 
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实体 描述 文本 ( 主要 出 自 百科 词 条 摘要 ) 与 知识 表示 
学 习 方 法 相 结合 ,如 本 Xu 等 将 实体 描述 文本 的 向 量 
表示 与 TransE 相 结合 ,实现 联合 表示 学 习 " ST. Long 
等 利用 词 条 描述 文本 的 平均 词 向 量 来 初始 化 实体 向 
量 ,以 改善 TransE 模型 的 性 能 所 。 但 是 ,就 知识 图 谱 
关系 预测 任务 而 言 ,同时 包含 两 实体 指称 的 句子 显然 
较 实体 描述 文本 更 能 直接 地 反映 出 两 实体 间 的 关系 ， 
而 当前 相关 研究 中 并 未 使 用 到 此 类 文本 。 

此 外 ,深度 学 习 是 近年 来 机 器 学 习 领 域 的 突破 点 ， 
特别 是 基于 卷 积 神经 网 络 (convolutional neural net- 
work, CNN) 的 深度 学 习 模 型 由 于 具有 优秀 的 特征 表 
示 能 力 ,已 被 广泛 应 用 于 计算 机 视觉 等 领域 ,但 在 知识 
图 谱 关系 预测 任务 中 却 较 少 被 应 用 。 近 年 来 ,有 学 者 
开始 将 CNN 应 用 到 知识 图 谱 补 全 任务 中 。T. Dettmers 
等 下 2018 年 提出 的 ConvE 模型 "是 第 一 个 将 CNN 应 
用 笠 知 识 图 谱 补 全 的 模型 。ConvE 模型 将 一 维 的 头 实 
仿 轩 量 和 关系 向 量 分 别 变形 为 2D 矩阵 ,并 通过 纵向 拼 
搓 和 更 成 新 的 矩阵 作为 卷 积 层 的 输入 ,然后 使 用 3 x 3 
大 小 的 卷 积 核对 输入 矩阵 进行 卷 积 操 作 , 以 此 进行 模 
TJA. ConvE 在 知识 图 谱 补 全 中 具有 良好 的 预测 性 
能 但 该 模型 并 未 考虑 知识 图 谱 中 的 关系 路 径 信 息 和 
文 杖 信息 。 通 过 检索 ,目前 尚未 发 现 利 用 深度 学 习 模 
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型 融合 路 径 结构 特征 与 文本 特征 实现 知识 图 谱 关 系 预 
测 的 相关 研究 。 

综 上 所 述 , 当前 的 知识 图 谱 关系 预测 主要 基于 知 
识 图 谱 的 结构 特征 来 进行 。 一 些 研究 开始 将 结构 特征 
与 文本 特征 相 集 成 以 提升 预测 性 能 ,但 此 类 研究 并 未 
关注 以 关系 路 径 为 代表 的 宏观 结构 特征 ,所 采用 的 文 
本 的 类 型 也 存在 一 定 的 局 限 性 ;同时 ,深度 学 习 技术 在 
该 领域 的 应 用 仍 十 分 有 限 。 鉴 于 多 特征 融合 和 深度 学 
习 技 术 在 知识 图 谱 关 系 预测 领域 具有 较 大 的 潜力 ,本 
研究 拟 对 该 问题 进行 探索 ,提出 一 种 基于 卷 积 神经 网 
络 并 融合 知识 图 谱 内 部 结构 与 外 部 文本 特征 的 知识 图 
谱 关 系 预测 新 方法 。 


2 ”知识 图 谱 关 系 预 测 模型 的 设计 


本 研究 提出 了 一 个 基于 卷 积 神经 网 络 ,融合 知识 
图 谱 内 部 结构 特征 和 外 部 文本 特征 的 知识 图 谱 关 系 预 
测 模型 ConvF。 该 模型 将 知识 图 谱 关系 预测 视 为 一 个 
多 标签 分 类 问题 ,模型 的 输入 为 反映 两 实体 间 关 系 路 
径 的 结构 特征 和 反映 两 实体 间 关 系 的 文本 特征 ,模型 
的 输出 为 两 实体 间 存 在 不 同 关系 类 型 (在 指定 的 关系 
类 型 集合 中 ) 的 概率 ,其 功能 结构 如 图 2 所 示 : 


一 :一 :一 :一 ' 一 .一 ' 一 .一 .~ 


| 本 实体 存在 关系 2 的 概率 | i 


1 (两 实体 存在 关系 n ineo) 1 


2 ConvF 模型 的 功能 结构 


ConvF 模型 由 关系 路 径 推理 和 关系 抽取 两 个 子 模 
型 构成 ,其 中 ,关系 路 径 推理 子 模型 用 于 学 习 知 识 图 谱 
内 部 的 关系 路 径 结 构 特 征 ; 关 系 抽取 子 模 型 则 用 于 学 
习 与 实体 对 相关 的 外 部 文本 的 特征 。 在 本 节 中 将 分 别 
介绍 这 两 个 子 模型 的 设计 以 及 它们 如 何 融 合成 为 Con- 
vF 关系 预测 模型 。 
2.1 关系 路 径 推 理子 模型 

关系 路 径 推 理子 模型 通过 学 习 知 识 图 谱 内 部 的 关 
系 路 径 特征 进行 关系 预测 。 该 子 模 型 的 设计 思路 为 : 
知识 图 谱 中 存在 特定 直接 关系 的 两 实体 间 往往 还 存在 
着 多 条 连通 路 径 ( 即 关系 路 径 ) ,可 将 这 些 关 系 路 径 作 


为 该 直接 关系 的 模式 特征 ,通过 机 器 学 习 算法 对 这 些 
模式 特征 进行 学 习 , 若 待 预测 的 两 实体 间 存 在 类 似 的 
关系 路 径 结构 , 即 可 判断 出 两 实体 间 有 较 大 概率 存在 
此 类 直接 关系 。 如 图 3 所 示 , 用 于 模型 训练 的 实体 e, 
相对 于 e, 的 直接 关系 为 Friend, 且 从 e, 到 。 存在 两 条 
关系 路 径 (Enemy, Enemy ) 和 (Friend, Friend ) , 则 两 条 
路 径 可 联合 作为 Friend 关系 的 模式 特征 ; 待 预 测 关系 
的 两 实体 ej, 和 e, 间 的 路 径 结构 稍 有 不 同 , 但 同样 存在 
类 似 的 路 径 结构 模式 , 故 可 推测 e, 有 较 大 概率 为 6, 的 
Friend, 
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Enemy Enemy 
ze T, 
Ó Friend O 
< p. 
Friend Friend 


图 3-a 训练 实体 对 间 的 关系 路 径 结 构 


接 下 来 对 上 述 问题 进行 形式 化 表述 。 知 识 图 谱 C 
= |E,R1 可 被 视 为 一 个 有 向 多 重 图 (Directed Multi- 
graph) ,其 中 ,为 知识 图 谱 中 的 实体 集合 ;R 为 知识 图 
谱 中 的 关系 集合 ; < el,e > (ee € E) 为 知识 图 谱 中 
的 三 个 实体 对 ;7,_,(7,_,e FOR e, 相对 于 ei 的 关系 。 
A76 e, 视 为 路 径 的 起 点 ,e 视 为 路 径 的 终点 , ,= 
(Es eere) 代表 从 实体 % 到 实体 。 M 
的 写 条 关系 路 径 , 该 路 径 可 简写 为 关系 序列 的 形式 , 即 
nO- (Cr ,7,…,7,), 其 中 称 为 关系 路 径 的 跳 数 
(hop) ;e, 58] e, 间 的 所 有 n 跳 关系 路 径 所 构成 的 集合 
ii IT, ,. 
CO 由 于 知识 图 谱 为 有 向 图 , 故 路 径 中 的 关系 + 存在 
> 分 。 本 研究 将 路 径 中 指向 e 方向 的 关系 定义 为 
IERO r) ,指向 6 方向 的 关系 定义 为 反 向 关 
RACH r) 。 特 别 地 ,zf = (ei,7 se,) 称 为 ei Fl e, 
的 下 向 直接 关系 路 径 ( 上 标 d 表示 直接 关系 ) ,该 路 径 
所 往 合 的 唯一 关系 就 是 待 学 习 或 预测 的 目标 关系 。 
.二 关系 路 径 推理 子 模型 使 用 卷 积 神经 网 络 ( CNN ) K 
学 加 关系 路 径 的 模式 特征 。 由 于 CNN 模型 的 输入 为 
2D 下 阵 , 故 首先 需要 将 关系 路 径 转换 为 矩阵 形式 。 憩 
阵 转 换 采 用 如 下 方法 :将 知识 图 谱 G 中 的 每 一 个 关系 
r 表示 为 一 个 k 维 向量 , 将 一 条 n 跳 关 系 路 径 中 各 关系 
的 维 向 量 进行 纵向 拼接 , 即 可 得 到 一 个 nxk 大 小 的 
和 矩阵。 从 e 到 。 可 能 存在 多 条 的 n 跳 关系 路 径 ,这 些 
路 径 的 集合 可 通过 深度 优先 搜索 (DFS) 或 广度 优先 搜 
索 (BFS) 算 法 遍历 生成 。n 跳 关系 路 径 的 集合 同样 可 
以 表示 为 矩阵 形式 ,这 一 矩阵 由 多 个 跳 关 系 路 径 矩 
阵 纵向 拼接 得 到 ,相关 公式 可 表示 为 : 
PM, ,=7 O'O, n. ARA) 
M, =PM,,® PM,,QO'! 四: PM,, 
公式 (2) 
其 中 ,PM, ,为 实体 6, 到 。 间 第 i 条 n 跳 关 系 路 径 
m, Cm orm D EEG iras oor ,为 该 路 径 
中 关系 的 行 向 量 表 示 ;@! 代表 行 向 量 或 矩阵 的 纵向 
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3-b 待 预测 关系 的 实体 对 间 的 关系 路 径 结 构 


拼接 ;MM 为 实体 。 8] e, [E] n 跳 关 系 路 径 集 合 的 矩阵 
表示 ;6, 为 超 参 数 ,代表 人 工 设 定 的 矩阵 中 所 包含 的 最 
大 路 径 数量 。 得 到 不 同 跳 数 的 关系 路 径 集 合 和 矩阵 M, 
(n=1,2,3,…) 后 , 即 可 利用 CNN 模型 从 这 些 和 矩阵 中 
学 习 出 针对 7, 关系 的 关系 路 径 模 式 特征 。 

下 面 以 一 简化 实例 说 明 关 系 路 径 集 合 矩 阵 的 构 
建 。 假 设 存在 图 4 所 示 的 知识 图 谱 ,e, .e, e, ei 为 知识 
图 谱 中 的 实体 ,该 图 谱 的 关系 集合 表示 为 R = | mother, 
son , brother , grandson | , 现 需 要 对 7,( 即 son 关系 ) 的 
模式 特征 进行 学 习 。 从 e, 到 e, 存在 两 条 单 跳 关 系 路 
径 (son) 和 (mother”') ,以 及 两 条 两 跳 关 系 路 径 ( moth- 
er,grandson) 和 (mother” ,brother) 。 其 中 (son) 为 e, 到 
e, 的 正 向 直接 关系 路 径 mu ,该 路 径 不 被 包含 在 构建 
的 矩阵 中 。 若 mother, mother ' 
er, brother ', grandson, grandson 分别 为 上 述 4 种 
关系 及 其 反 向 关系 的 行 向 量 表 示 , 可 基于 公式 (1) 和 
(2) 构 建 出 单 跳 关 系 路 径 和 矩阵 M, RIDDUBE OS ZR PETS AB 
REM, M, ftl M, 可 共同 作为 son 关系 的 训练 样本 输入 
数据 用 于 模型 训练 。 需 要 说 明 的 是 :中 本 例 以 人 物 知 
识 图 谱 为 例 说 明 关系 路 径 集 合 矩阵 的 构建 ,但 该 方法 
同样 适用 于 其 他 各 类 通用 知识 图 谱 中 的 关系 预测 ;@) 
在 该 例 中 从 。 到 e, 仅 存 在 单 跳 和 两 跳 关 系 路 径 ,在 实 
际 的 知识 图 谱 中 ,两 实体 间 还 可 能 存在 3 跳 或 3 跳 以 
上 的 关系 路 径 ,这 些 关 系 路 径 均 可 使 用 相似 的 方法 构 
建 关 系 路 径 集 合 和 矩阵 ;@ 由 于 我 们 将 知识 图 谱 视 为 一 
个 有 向 多 重 图 , 即 知识 图 谱 中 的 实体 间 可 以 存在 多 重 
关系 ,如 eu 可 以 既是 。 的 母亲 ,又 是 e, 的 老师 , 故 单 跳 
关系 路 径 集合 和 矩阵 也 可 以 包含 超过 一 条 关系 路 径 。 

构建 关系 路 径 集 合 和 矩阵 的 一 个 关键 问题 是 关系 向 
量 如 何 表 示 。 一 种 简单 的 策略 是 为 每 一 种 关系 类 型 生 
成 一 个 独 热 (one-hot ) 形式 的 向 量 ,如 将 son 关系 表示 
为 (0,1,0,0) ,但 若 知识 图 谱 中 的 关系 类 型 数量 较 多 ， 
使 用 此 方法 生成 的 关系 路 径 集合 矩阵 将 极为 稀 玻 ,这 
大 大 提高 了 训练 过 程 中 的 资源 消耗 ; 另 一 种 解决 策略 
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4 关系 路 径 集合 矩阵 构建 实例 


是 通过 知识 表示 学 习 方 法 (如 TransE ) 为 每 一 种 关系 
类 型 生成 一 个 预 训 练 的 低 维 稠密 向 量 表示 ,使 用 该 方 
法 可 大 大 降低 资源 消耗 , 旦 生成 的 向 量具 有 一 定 的 语 
义 信息 , 即 含 义 相似 的 关系 具有 空间 距离 接近 的 向 量 
表示 。 本 研究 采用 后 一 种 方法 生成 关系 向 量 。 男 外 ， 
关系 的 方向 显然 将 影响 到 路 径 推 理 的 结果 ,因此 对 于 


不 同方 向 的 关系 ,需要 生成 不 同 的 向 量 表 示 ,而 知识 表 
示 学 习 方法 所 生成 的 向 量 并 未 对 关系 在 路 径 中 的 方向 
进行 区 分 。 针 对 这 一 问题 ,我 们 采用 了 一 种 简单 的 解 
决策 略 , 即 对 于 n 跳 关 系 路 径 (n > 1) ,在 每 一 关系 向 
量 的 前 部 拼接 一 个 one-hot 形式 的 方向 向 量 ,车 关系 方 
向 为 正 向 , 则 方向 向 量 为 (1,0); 反 之 , 则 为 (0,1) ,从 
而 使 生成 的 关系 向 量具 有 方向 特征 。 对 于 单 跳 关系 路 
径 , 由 于 我 们 不 向 矩阵 中 添加 正和 疝 直 接 关 系 路 径 , 故 和 矩 
阵 中 只 存在 反 向 关系 ,无 需 添加 方向 向 量 。 

关系 路 径 推 理子 模型 将 关系 预测 视 为 一 个 多 标签 
分 类 问题 ,其 输入 为 实体 e, 到 实体 。 间 的 mn 跳 关 系 路 
f&1E 3B PE (n 21,2,3,...) ,输出 为 7 ,属于 不 同 关 
系 类 别 的 概率 。 该 模型 由 输入 层 、 卷 积 层 、 池 化 层 \ 全 


— 连接 层 和 输出 层 5 部 分 构成 ,如 图 5 所 示 : 
> 输入 层 卷 积 层 池 化 层 全 连接 层 输出 层 
o e ——- | | TRI | | | 

2 ] ^B 

eo D x 

"T : 国 
—g8——. 

E EN. E o: 

N — BEBEBNEN — H8 — B8 — E 

eo ] [EE 

N O00000 图 

> 

S< M3 

© 

E [LL LL ILLI 

T 图 5 关系 路 径 推理 子 模型 结构 示意 


(1) 输 入 层 包含 不 同 跳 数 的 关系 路 径 集合 矩阵 。 
其 中 ,关系 路 径 集 合 矩 阵 M, 的 宽度 w 取决 于 所 使 用 
的 关系 向 量 的 维度 KK。 由 于 单 跳 关 系 路 径 不 需要 添加 
方向 向 量 , 故 w, = SET CHIESA EIE AR 
阵 , 其 宽度 为 +2。 这 些 矩 阵 的 高 度 为 上 xl, 其 中 
为 矩阵 中 路 径 的 跳 数 , 超 参数 9, 为 每 个 矩阵 所 允许 包 
T BS n 路 路 径 的 最 大 数量 。 若 知识 图 谱 中 实体 。 到 
实体 。 实际 存在 的 n 跳 路 径 数量 > 0, , 则 多 余 的 路 径 
将 被 随机 剔除 ; 若 实 际 存在 的 an 路 路 径 数 量 < 0, , 则 多 
余 的 行 以 零 向 量 进 行 填充 。 

《2) 卷 积 层 用 于 实现 路 径 特征 的 提取 。 对 于 每 个 
n 跳 关系 路 径 集合 矩阵 ,分 别 设置 F, 个 卷 积 核 进行 着 
Pus TE , 卷 积 核 大 小 为 n x w,。 卷 积 核 的 滑动 步 长 被 
设置 为 n, 这 样 卷 积 核 每 次 滑动 得 到 的 感受 野 ( recep- 


tive field) 均 对 应 于 一 条 完整 关系 路 径 的 特征 矩阵 。 卷 
积 操作 完成 后 ,每 个 卷 积 核 将 生成 一 个 一 维 的 特征 图 。 

(3) 池 化 层 对 每 个 特征 图 进行 全 局 最 大 池 化 
(global max pooling) , 35455 7 ., F, 个 标量 值 。 

(4) 全 连接 层 将 池 化 层 生成 的 所 有 标量 值 拼接 为 
一 个 向 量 ,并 以 全 连接 方式 与 输出 层 相 连 。 为 减少 训 
练 过 程 中 过 拟 合 情 况 的 发 生 , 全 连接 层 采 用 了 Dropout 
策略 ” 。 

(5 ) 输 出 层 使 用 sigmoid 激活 函数 计算 实体 对 属于 
各 关系 类 别 的 概率 ,并 通过 二 元 交叉 篇 (binary cross- 
entropy ) 函数 计算 模型 损失 。 
2.2 关系 抽取 子 模型 

关系 抽取 子 模型 通过 学 习 知 识 图 谱 外 部 的 文本 特 
征 进行 关系 预测 。 关 系 抽取 (relation extraction ) 是 信 
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息 抽 取 中 的 一 项 重要 任务 ,其 目标 是 给 定 一 段 包 含 两 
实体 指称 的 文本 ,根据 文本 判断 出 两 实体 间 的 关系 类 
型 ” 。 关 系 抽取 子 模型 借鉴 了 关系 抽取 的 思路 :在 知 
识 图 谱 的 外 部 文本 (如 百科 词 条 ) 中 ,存在 着 大 量 包含 
两 个 或 两 个 以 上 实体 指称 (mention ) 的 句子 ,通过 将 三 
元 组 中 的 实体 与 这 些 语 句 中 的 实体 指称 对 齐 , 寻 找 同 
时 包含 头 实 体 和 尾 实体 指称 的 句子 集合 ,并 将 句 中 的 
实体 指称 使 用 掩 码 进行 替换 , 即 可 从 这 些 句 子 集合 中 
学 习 出 与 特定 关系 类 型 有 关 的 文本 模式 特征 ,例如 , 假 
设 存在 三 元 组 < 鲁迅 ,作品 ,狂人 日 记 > ,而 相关 百科 
词 条 中 提 及 “和 鲁迅 发 表白 话 小 说 《狂人 日 记 》”“《 狂 人 
日 记 》 是 鲁迅 创作 的 白话 小 说 ” ,分 别 将 名 中 头 实体 和 
尾 实体 指称 替换 为 手 码 <head > 和 <tail > , 则 “< head 
E Bu < tail >” “ «tal» 是 < head > 创作 的 


关系 抽取 子 模 型 也 将 关系 预测 视 为 一 个 多 标签 分 
类 问题 ,并 同样 采用 了 CNN 作为 分 类 器 ,其 结构 借鉴 
了 TextCNN 文本 分 类 模型 “的 设计 模式 。 图 6 为 关 
系 抽取 子 模型 的 结构 示意 图 ,该 子 模型 同样 由 5 部 分 
构成 

(1) 输 入 层 为 文本 的 矩阵 表示 ,矩阵 中 的 每 行为 
一 个 单词 的 词 向 量 表 示 。 若 文本 由 个 单词 构成 ,每 
个 单词 的 词 向 量 维度 为 k 维 , 则 输入 层 为 一 个 nxk 的 
AREE s 

(2) 卷 积 层 设置 不 同 高 度 的 卷 积 核 完成 关系 模式 
特征 的 提取 。 所 有 卷 积 核 的 宽度 均 为 k, 各 卷 积 核 的 
高 度 为 超 参数 。 卷 积 核 在 文本 和 矩阵 中 纵向 滑动 进行 卷 
积 操 作 ,滑动 步 长 为 1。 

(3) 池 化 层 、 全 连接 层 和 输出 层 的 设计 与 关系 路 


自主 小 说 " 均 可 反映 出 “roa = 作品 ”这 一 关系 。 径 推理 子 模型 相同 ,在 此 不 作 歼 述 。 
er 输入 层 卷 积 层 池 化 层 全 连接 层 输出 层 
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E 图 6 关系 抽取 子 模型 结构 示意 
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2.60 融合 模型 

上 述 两 个 子 模型 可 以 分 别 独 立地 实现 关系 预测 ， 
但 是 在 实际 的 关系 预测 任务 中 , 仅 赁 关系 路 径 或 文本 
信息 其 中 之 一 往往 并 不 足以 做 出 准确 的 预测 ,例如 , 若 
实体 B 为 实体 A 的 朋友 ,实体 C 为 实体 B 的 朋友 , 根 
据 ( 朋 友 ,朋友 ) 这 一 关系 路 径 , 可 以 推断 C 可 能 为 A 
的 朋友 ,但 这 一 推断 并 不 确定 ,因为 “A 朋友 的 朋友 "未 
必 一 定 为 “A 的 朋友 ”; 但 是 ,和 若 有 文本 提 及 ”5C 在 生活 
中 对 A 予以 照料 ” ,综合 上 述 路 径 和 文本 信息 综合 判 
断 , 则 能 够 得 出 “C 为 A 的 朋友 ”这 一 较为 确定 的 结 
论 。 

为 了 融合 关系 路 径 推 理子 模型 和 关系 抽取 子 模型 
实现 综合 推理 ,我 们 提出 了 一 个 融合 模型 ( ConvF ) 实 
现 二 者 的 集成 。 图 7 为 ConvF 模型 的 结构 示意 图 ,该 
融合 模型 的 前 半 部 分 由 关系 抽取 和 关系 路 径 推理 子 模 
型 的 输入 层 、 卷 积 层 和 池 化 层 共同 构成 。 在 全 连接 层 ， 


我 们 将 两 个 子 模型 的 神经 元 进行 拼接 处 理 , 使 该 层 神 
经 元 既 包含 基于 文本 的 特征 表示 ,也 包含 基于 关系 路 
径 的 特征 表示 。 增 加 隐藏 层 可 以 在 一 定 程度 上 提高 神 
经 网 络 模型 的 特征 表示 能 力 ,故我 们 在 拼接 形成 的 
全 连接 层 和 输出 层 中 间 添 加 了 一 个 全 连接 隐藏 层 以 获 
得 更 低 的 训练 误差 。 

ConvF 模型 的 使 用 过 程 分 为 预 处 理 训练 和 预测 3 
个 阶段 :中 在 预 处 理 阶 段 ,将 已 知 关系 的 三 元 组 <h ,r， 
t» 视 为 一 个 训练 样本 ,对 于 每 一 个 训练 样本 中 的 实体 
对 <h,t> ,通过 图 搜索 算法 生成 图 中 对 应 节点 e $0 e, 
间 的 关系 路 径 集 合 IT, (n 21,2,3,-), EH 2.15 
所 述 方法 将 关系 路 径 集合 转换 为 关系 路 径 集 合 矩 阵 
Mna=1,2,3,…); 同 时 ,从 外 部 文本 中 寻找 同时 包含 
h 和 ft 指称 的 句子 集合 ,使 用 2.2 节 所 述 方法 生成 文本 
的 矩阵 表示 ;@ 在 训练 阶段 ,将 每 一 个 训练 样本 «hr, 
t» 的 关系 路 径 集 合算 了 泗 和 文本 和 矩阵 共同 作为 模型 输 
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EARR KHA <h',t > ,使 用 与 训练 过 程 相同 
的 疗法 生成 针对 h' 和 的 关系 路 径 集合 矩阵 和 文本 逢 

萝 这 些 矩 阵 作为 模型 的 输入 数据 ,模型 将 输出 hy， 
属于 各 关系 类 型 的 不 同 概率 。 需 要 说 明 的 是 ， 


在 9 贺 测 阶段 ,ConvF 并 不 强制 要 求 输入 数据 同时 包含 
关系 路 径 集合 矩阵 和 文本 和 矩阵。 待 预测 关系 的 实体 对 
可 能 存在 信息 缺失 , 即 一 些 实体 对 可 找到 两 实体 间 的 
关系 路 径 ,但 无 法 匹配 到 同时 包含 两 实体 对 的 句子 集 
合 ,而 一 些 实体 对 则 反之 。 对 于 此 类 存在 信息 缺失 的 
实体 对 ,可 仅 使 用 关系 路 径 集合 矩阵 或 文本 矩阵 其 中 
之 一 作为 模型 输入 ,无 法 获取 对 应 信息 的 矩阵 则 以 零 
矩阵 填充 ,模型 可 基于 有 限 的 信息 输出 预测 结果 。 

ConvF 相对 于 传统 关系 预测 模型 的 主要 优势 在 
于 :中 模型 可 综合 结构 和 文本 信息 进行 关系 预测 ;@) 该 
模型 可 通过 深度 学 习 实现 更 加 有 效 的 关系 路 径 模 式 特 
征 学 习 。 在 下 一 节 中 ,将 对 模型 的 性 能 予以 评测 。 


3 ”实验 与 结果 分 析 


评测 数据 集 
本 研究 使 用 FB15K fil FB15K237 数据 集 的 衍生 数 
据 集 FB15K - T 和 FB15K237 - T 进行 模型 性 能 的 评 
测 。FB15K 和 TB15K237 是 关系 预测 任务 中 常用 的 三 


3.1 


— 


一 一 一 


— nn 


图 7 ConvF 模型 结构 示意 


元 组 数据 集 。FB15K 数据 集 ” 中 的 三 元 组 提取 自 
Freebase 知识 库 , 共 包含 涉及 14 951 个 实体 和 1 345 种 
关系 的 50 余 万 个 三 元 组 样本 。K. Toutanova 等 于 
2015 年 指出 FBISK 测试 集中 的 大 量 三 元 组 可 通过 反 
向 关系 映射 至 训练 集中 的 三 元 组 ,如 训练 集中 包含 < 
猫 , 上 位 类 , 猫 科 动 物 > ,而 测试 集 包含 < 猫 科 动 物 , 下 
位 类 , 猫 > , 故 仅 需要 一 个 简单 的 基于 规则 的 模型 即 可 
实现 与 主流 模型 相似 的 性 能 。 针 对 这 一 问题 ,K. 
Toutanova 等 引入 了 FBISK237 X4 fe" 。FB15K237 
从 FB15K 中 去 除了 大 多 数 存 在 直接 反 向 关系 的 实体 
对 ,从 而 使 评测 任务 更 专注 于 非 平凡 的 知识 推理 。 
FB15K 和 FB15K237 仅 包 含 知识 图 谱 的 结构 信 
息 ,为 了 测试 结构 与 文本 相 结 合 的 知识 图 谱 关 系 预测 
方法 ,需要 在 FB15K 和 FB15K237 数据 集 基础 上 添加 
与 三 元 组 相关 的 外 部 文本 信息 。 鉴 于 Freebase 知识 库 
中 的 大 部 分 知识 均 抽 取 自 维基 百科 , 故 基 于 Freebase 
生成 的 FB15K 和 FB15K237 数据 集中 的 多 数 实体 可 与 
维基 百科 词 条 实现 映射 。 因 此 ,我 们 首先 将 FB15K 和 
FB15K237 数据 集中 的 实体 映射 到 对 应 的 维基 百科 词 
条 ;然后 ,对 于 数据 集中 的 每 一 个 三 元 组 ,从 头 实体 和 
尾 实体 词 条 页 中 寻找 同时 包含 两 实体 指称 的 句子 集合 
(将 句 中 的 实体 指称 使 用 掩 码 蔡 换 ) ;最 后 将 句子 集合 
作为 各 三 元 组 的 对 应 文本 ,生成 形 如 < 头 实体 , 尾 实 
体 ,实体 间 关 系 ,文本 > 的 四 元 组 。 经 统计 ,在 FBISK 
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fll FB15K237 中 有 约 173 的 三 元 组 样本 可 匹配 到 对 应 
的 文本 信息 ,我们 选择 FBISK 和 FBI5K237 数据 集中 
的 此 类 样本 生成 相应 的 四 元 组 样本 ,形成 FB15K -T 
和 FB15K237 -了 数据 集 。 两 个 评测 数据 集 及 其 来 源 
数据 集 的 基本 情况 如 表 1 所 示 : 

表 1 评测 数据 集 及 其 来 源 数据 集 的 基本 情况 


3.3 ”模型 训练 

本 节 阐 述 模型 的 训练 过 程 与 训练 参数 设置 。 为 了 
进行 模型 训练 , 首先 需要 利用 训练 集 三 元 组 构建 一 个 
有 向 多 重 图 ,以 利用 该 图 生成 关系 路 径 。 本 研究 基于 
Neo4j 图 数据 库 实 现 图 的 构建 ,方法 为 :将 数据 集 包 含 
的 实体 转换 为 图 中 的 节点 ,利用 训练 集中 的 三 元 组 在 
Neo4j 中 创建 边 ,以 此 构建 出 一 个 图 。 两 实体 间 关 系 路 
径 的 生成 可 采用 成 熟 的 图 搜索 算法 ,如 深度 优先 搜索 


数据 集 ( 单 位 ) FBISK FBISK-T FBISK237 FBI5K237 -T 
关系 数 ( 种 ) 1 345 1177 231 226 
实体 数 ( 个 ) 14 951 13 060 14 541 12 619 

训练 样本 数 (元 组 ) — 483 142 143 277 272 115 82 095 
验证 样本 数 (元 祖 ) 50 000 14 915 17 535 4 436 
测试 样本 数 ( 元 组 ) 59 071 17 708 20 466 5 200 


3.2. 评测 指标 
之 关 系 预 测 任务 的 评价 通常 采用 基于 排序 的 评价 方 
1 给 定 一 个 测试 集中 的 实体 对 < h,t > ,预测 出 带 
AER FO APER L= [7, ,7,，,… ,7,] ,车 测试 集 标注 的 
Sou PCS t rn" 在 1 中 排名 靠 前 , 则 说 明 预 测 
性 能 较 好 。 我 们 参考 本 领域 评测 的 常用 作法 ,使 用 
MRR 和 Hits? n 作为 评测 指标 。MRR ( mean reciprocal 
为 正确 结果 在 预测 列表 中 排名 的 倒数 的 平均 值 ; 
Hs» n 指正 确 结果 在 预测 结果 列表 中 前 n 名 的 比例 ， 
两 者 的 计算 公式 分 别 为 ; 

a: 1 XM 


Mur N à rank, 


公式 (3) 


N 
HitsQ n =- YXo(rank, xn) 公式 (4) 
isi 


一 其 中 , 为 待 预测 关系 类 型 的 实体 对 数量 ;rank 
为 得 预测 关系 类 型 的 第 i 个 实体 对 的 正确 关系 类 型 在 
预测 出 的 关系 列表 中 的 排名 位 置 ;o 为 指示 函数 ,其 定 
XH: 


] 35 rank, <n 
0 34 rank, >n 

MRR 和 Hits n 的 值 域 均 位 于 0 至 1 区 间 , 其 值 
越 接近 1 ,代表 模型 具有 越 好 的 预测 性 能 。 由 于 实体 
对 <h,t> 在 知识 图 谱 中 可 能 存在 不 止 一 种 正确 的 关 
系 类 型 Er ELDER k,r(0«j < 和 实际 上 也 可 
能 为 正确 的 结果 , 故 本 领域 研究 通常 将 MRR 和 Hits@ 
n 进一步 细 分 为 raw 和 filter 两 个 类 别 ,前 者 指 不 从 预 
测 结果 列表 中 去 除 其 他 正确 结果 的 原始 评测 指标 ,后 
者 指 从 预测 结果 列表 中 去 除 其 他 正确 结果 (从 而 使 预 
测 结果 的 排名 更 加 靠 前 ) 后 得 到 的 评测 指标 。 本 人 研究 
在 评测 时 同样 采用 了 这 种 分 类 方法 。 


d ( rank, n) -| 公式 (5) 


(DFS) 或 广度 优先 搜索 (BFS) 算 法 。Neo4j 已 实现 了 
基于 DFS 的 图 搜索 算法 ,故我 们 直接 使 用 Neo4j 生成 
两 实体 间 的 关系 路 径 集合 。 需 要 说 明 的 是 ,在 两 实体 
间 可 能 存在 多 条 关系 序列 相同 的 路 径 , 例 如 实体 e, 和 
e, 间 可 能 存在 关系 路 径 m = (euius eure) m = 
(e, ri 65r, ,6,) ,两 者 的 区 别 仅 为 途经 的 中 间 节 点 不 
同 。 在 本 任务 中 , 仪 关 心路 径 中 的 关系 7, 而 7 与 
均 可 表示 为 关系 序列 (7 ur) ,故我 们 将 其 合并 为 一 条 
路 径 加 入 集合 ; 男 外 ,遍历 两 节点 间 的 所 有 关系 路 径 具 
有 较 高 的 时 间 复 杂 度 ,为 了 提高 效率 我 们 将 路 径 搜索 
的 范围 限制 在 DFS 算法 随机 匹配 到 的 前 m 条 路 径 (m 
为 超 参 数 ) ,对 于 1 -3 跳 关 系 路 径 , 将 m 分 别 设置 为 
10.20 和 30。 

我 们 使 用 上 述 方法 生成 了 训练 集中 所 有 实体 对 的 
1 -3 跳 关 系 路 径 集 合 , 并 将 这 些 关 系 路 径 集合 和 样本 
文本 转换 为 矩阵 形式 ,然后 将 这 些 和 矩阵 输入 ConvF 进 
行 模型 训练 ,训练 参数 为 :batch_size = 50 ; dropout_rate 
=0. 5; learning rate =0.01; 全 连接 隐藏 层 神经 元 个 数 
=200 ;关系 向 量 的 维度 数 = 20; 关 系 抽取 子 模型 设置 
高 度 为 2.3 4.5 的 4 个 卷 积 核 ; 针 对 2 BERIS 跳 关 系 路 
径 的 卷 积 核 数量 =200 ,特别 地 ,对 于 单 跳 关 系 路 径 ,由 
于 我 们 仅 考 虑 竺 预测 关 系 7 ,的 反 癌 路径 7,, ,这 一 反 
向 路 径 只 可 能 有 1RI( 即 知识 图 谱 中 的 关系 种 类 数 ) 种 
变化 形式 ,故我 们 将 单 跳 关 系 的 卷 积 核 数 量 设置 为 
IRI SETTE 1 -3 跳 关 系 和 矩阵 的 高 度 分 别 设置 为 5、 
20 ,60 ,这 使 得 各 和 矩阵 可 分 别 容纳 最 多 5 、10 ,20 条 关系 
路 径 的 信息 。 另 外 ,我 们 在 模型 训练 过 程 中 使 用 了 早 
停 法 (early stopping) ”以 减少 过 拟 合 的 发 生 , 即 在 训 
练 过 程 中 由 系统 根据 验证 损失 (validation loss) 是 否 上 
升 ,自动 确定 何 时 停止 迭代 。 
3.4 结果 与 分 析 

鉴于 当前 相关 研究 主要 是 将 外 部 文本 特征 与 基于 
知识 表示 学 习 的 关系 预测 方法 相 结合 , 我 们 选择 基于 
知识 表示 学 习 方 法 中 常用 的 两 个 翻译 模型 ( TransE 和 
TransH ) 和 两 个 语义 匹配 模型 ( DistMult 和 ComplEx ) 作 
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为 对 照 模 型 ,与 我 们 提出 的 ConvF 模型 进行 关系 预测 
的 性 能 对 比 。 表 2 和 表 3 展示 了 ConvF 模型 和 上 述 4 
个 对 照 模型 分 别 在 FB15K -T fll FBISK237 -T 评 测 数 
据 集 上 的 关系 预测 评测 结果 。 其 中 ,对 照 模型 的 性 能 
由 我 们 利用 OpenkKE ”工具 包 进 行 关系 预测 后 统计 得 
到 。 由 于 4 个 对 照 模型 都 是 基于 知识 图 谱 的 三 元 组 结 
构 进 行 关系 预测 , 故 在 评测 时 仅 使 用 FB15K - T 和 


FB15K237 -了 数据 集中 四 元 组 的 前 三 元 组 信息 进行 训 

练 与 预测 。ConvF 模型 的 性 能 则 使 用 本 文 提 出 的 融合 
内 部 结构 和 外 部 文本 信息 的 方法 ,利用 这 两 个 数据 集 
中 的 完整 四 元 组 信息 进行 关系 预测 统计 得 到 。 表 2 和 

表 3 的 数据 显示 , ConvF 模型 在 两 个 数据 集 的 各 评测 
首 标 上 均 明 显 超过 对 照 模 型 。 


表 2 FB15K -数据 集 的 关系 预测 性 能 对 比 


MRR Hits@ 1 Hits@3 Hits@5 
模型 
raw filter raw filter raw filter raw filter 
TransE 0. 720 0.870 0. 565 0. 805 0.858 0.925 0. 937 0.954 
TransH 0.726 0. 885 0. 569 0. 826 0. 869 0.936 0.942 0. 958 
DistMult 0.462 0.504 0.244 0.285 0.615 0.676 0. 736 0. 782 
ComplEx 0. 633 0. 740 0. 483 0. 645 0.750 0.816 0. 832 0. 862 
ConvF 0.781 0.936 0.642 0. 899 0.915 0.969 0. 969 0.981 
X3 FBISK237 -了 T 数 据 集 的 关系 预测 性 能 对 比 
MRR Hits@ 1 Hits? 3 Hits? 5 
模型 
raw filter raw filter raw filter raw filter 
TransE 0. 864 0. 873 0. 798 0. 815 0.920 0.920 0.946 0.947 
TransH 0.874 0. 883 0.812 0.831 0.927 0.928 0.951 0.952 
DistMult 0. 525 0. 528 0.411 0.415 0.585 0. 588 0. 658 0. 660 
ComplEx 0. 505 0. 509 0.401 0. 408 0.552 0.554 0.628 0. 629 
ConvF 0.902 0.912 0. 849 0. 868 0.949 0.950 0. 966 0. 967 


CN 

"在 上 面 的 评测 中 ,将 1+2 +3 跳 关 系 路 径 信息 和 
多 杰 信 息 同时 作为 模型 输入 。 一 个 值得 探讨 的 问题 是 
单项 特 征 对 模型 整体 性 能 的 贡献 以 及 不 同 特征 组 合 对 


和 FB15K237 -了 T 数 据 集 上 对 ConvF 模型 的 性 能 (基于 
MRR 和 Hits@ 1 指标 ) 重新 进行 评测 ,结果 如 表 4 所 示 
(特征 栏 中 1.2.3 了 分 别 代表 1 -3 跳 路 径 特 征 和 文本 


模 模 性 能 的 影响 。 为 分 析 这 一 问题 ,我 们 尝试 使 用 不 | 特征 ) : 
T 
同音 项 特征 及 其 组 合作 为 模型 输入 ,然后 在 FBISK -T 
o 表 4 不 同 特征 和 特征 组 合 对 ConvF 性 能 的 影响 
FBISK -T FBI5K237 - T 
特征 MRR HitsQ 1 MRR HitsQ 1 
raw filter raw filter raw filter raw filter 
only 1 0. 649 0. 749 0. 528 0.691 0.203 0. 203 0.087 0.087 
only 2 0.521 0.595 0.387 0.503 0.592 0.598 0.512 0.524 
only 3 0.673 0. 766 0.528 0.671 0.854 0. 864 0. 790 0. 808 
only T 0. 674 0. 813 0.510 0.730 0.749 0.758 0.656 0.673 
1+2 0. 729 0.848 0.597 0. 792 0.596 0. 602 0.503 0.513 
14243 0. 763 0. 882 0.631 0.825 0.865 0. 873 0. 804 0. 820 
1+2+3+T 0.781 0. 936 0. 642 0. 899 0.902 0.912 0. 849 0. 868 


表 4 的 结果 显示 ,在 单项 特征 中 ,3 跳 关 系 路 径 特 


晶 单 Jk 关系 路 径 特 征 作 为 输入 的 ConvF 模型 在 


Cm 


征 和 文本 特征 相对 具有 较 佳 的 表现 。 由 于 FBISK237 
/ FBI5K237 -了 数据 集 在 FB15K / FBISK - T 的 基础 
上 去 除了 实体 间 的 直接 反 向 关系 ,而 ConvF 在 生成 单 
跳 关 系 路 径 时 仅 考虑 实体 对 的 直接 反 向 关系 , 故 仅 使 


FB15K237 -了 数据 集 上 的 表现 远 低 于 FB15K -了 数据 
集 。 尽 管 如 此 , ConvF 仍然 可 以 利用 FB15K237 -了 中 
的 2.3 跳 关 系 路 径 特征 和 文本 特征 取得 不 错 的 预测 性 
能 。 将 多 种 特征 的 组 合作 为 模型 输入 ,其 性 能 总 体 优 
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于 使 用 单一 特征 , 且 模 型 性 能 随 着 特征 的 县 加 而 递增 。 
DUKSE 12 € 3 跳 关 系 路 径 特 征 ,ConvF 模型 即 可 实 
现 与 TransF ,TransH 等 主流 模型 相当 的 预测 性 能 ,而 在 
合 加 关系 路 径 特征 和 文本 特征 的 情况 下 ,ConvF 模型 
的 预测 性 能 则 超过 了 主流 模型 ,这 显示 添加 文本 特征 
对 于 模型 性 能 的 提升 具有 较为 明显 的 效果 。 


4 应 用 案例 


本 节 以 人 物 知识 图 谱 的 关系 预测 为 例 , 说 明 Con- 
vF 模型 的 应 用 模式 与 应 用 价值 。 在 百度 百科 人 物 词 
条 的 信息 框 中 包含 部 分 人 物 关系 信息 ,如 图 8 为 “ 李 隆 
基 " 词 条 中 所 展示 的 人 物 关系 ,这 些 人 物 关系 信息 对 于 
知识 服务 具有 重要 价值 。 然 而 ,这 些 已 明确 标注 的 人 
物 关系 仍 远 不 能 涵盖 百度 百科 涉及 的 众多 人 物 关系 ， 
其 审 存在 着 大 量 信息 的 缺失 ,例如 ,根据 图 8 中 的 人 物 
美 答 ,易于 估计 * 李 完 " 和 * 李 治 " 间 存 在 祖 孙 关系 ,而 
这 一 关 系 在 两 人 物 词 条 中 并 未 被 明确 标注 。 


EncycloGraph 是 我 们 基于 百度 百科 构建 的 一 个 大 
规模 人 物 知 识 图 谱 ,本 研究 利用 ConvF 模型 补 全 该 知 
EE rS AIR AR. HARTEN E o SEE HA 
百科 人 物 词 条 页 面 抽取 已 明确 标注 的 人 物 关 系 , 共 得 
到 43 682 个 人 物 对 间 的 关系 ;然后 ,利用 此 类 已 明确 
标注 关系 类 型 的 人 物 对 生成 关系 路 径 集合 矩阵 ,利用 
百科 中 包含 这 些 人 物 对 指称 的 句子 集合 生成 文本 珑 
阵 , 将 两 类 和 矩阵 作为 训练 数据 导入 ConvF 模型 进行 模 
型 训练 。 在 此 前 的 研究 中 ,我 们 已 对 百科 人 物 的 相关 
度 进行 了 计算 ””, 本 研究 利用 训练 出 的 关系 预测 模型 
对 知识 图 谱 中 具有 较 高 相关 度 , 但 并 未 被 明确 标注 关 
系 类 型 的 人 物 对 进行 了 关系 预测 , 若 模 型 判定 人 物 对 
属于 特定 关系 类 别 的 概率 超过 一 定 阔 值 , 则 将 该 人 物 
对 标注 为 具有 该 人 物 关系 。 

通过 上 述 方法 , 共 预 测 出 106 770 对 百科 人 物 间 的 
具体 关系 ,从 而 使 人 物 知识 图 谱 具 有 丰富 的 人 物 关 系 
类 型 信息 。 利 用 这 一 知识 图 谱 , 可 以 动态 生成 符合 特 


Gyms c 定 关 系 类 型 的 人 物 关系 网 络 ( 如 亲缘 网 络 .合作 网 络 或 
E 学 缘 网 络 ) ,例如 ,图 9 显示 了 公元 420 年 - 公元 589 
e dio 年 ( 即 南朝 时 期 ) 重 要 人 物 的 素 缘 关系 网 络 ( 即 网 络 中 
QN I» 的 人 物 关系 类 型 属于 任意 一 种 亲属 关系 ) 。 可 以 看 出 ， 
eo A NS ConvF 模型 可 有 效应 用 于 知识 图 谱 的 补 全 ,进而 提升 
N PEE] 哥哥 李 完 3938 李 治 知识 服务 的 质量 。 
图 8 “ 李 隆 基 ”" 词 条 中 标注 的 人 物 关系 信息 
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图 9 利用 关系 预测 结果 生成 的 亲缘 关系 网 络 示例 


本 研究 提出 了 一 种 融合 结构 与 文本 特征 进行 知识 
图 谱 关系 预测 的 新 方法 。 该 方法 的 创新 点 在 于 :中 设 
计 了 一 种 基于 卷 积 神经 网 络 的 关系 路 径 模式 学 习 算 


法 ,该 算法 可 利用 深度 学 习 技 术 实现 更 加 有 效 的 结构 
特征 学 习 ;@ 将 知识 图 谱 的 关系 路 径 结构 特征 与 外 部 
文本 特征 相 结合 ,提出 了 一 种 特征 融合 的 知识 图 谱 关 
系 预测 模型 ConvF 。 

对 比 实验 结果 表明 , ConvF 模型 在 评测 数据 集 上 
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各 评测 指标 的 表现 超过 了 对 照 主流 模型 的 水 平 ,这 证 
明 本 研究 所 提出 的 融合 模型 具有 良好 的 关系 预测 性 
能 。 我 们 测试 了 不 同 特征 和 特征 组 合 对 模型 性 能 的 影 
响 ,结果 显示 多 特征 县 加 ,特别 是 在 结构 特征 的 基础 上 
释 加 文本 特征 ,可 有 效 提升 模型 的 预测 性 能 。 最 后 ,本 
研究 应 用 ConvF 模型 对 人 物 知 识 图 谱 中 部 分 缺失 的 人 
物 关 系 进 行 了 预测 ,预测 效果 显示 ConvF 模型 在 知识 
服务 中 具有 良好 的 应 用 价值 。 该 模型 的 不 足 之 处 在 于 
其 依赖 于 对 知识 图 谱 关 系 路 径 模式 特征 的 学 习 , 因 此 
不 适用 于 过 于 稀 玻 的 知识 图 谱 ;另外 ,并 非 所 有 的 知识 
图 谱 都 易于 找到 与 实体 关系 对 应 的 文本 信息 ,这 使 该 
模型 的 适用 领域 受到 一 定 的 限制 ,针对 上 述 问 题 的 改 
进 还 有 待 于 未 来 的 进一步 研究 。 
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Research on Relation Prediction in Knowledge Graphs 
by Fusing Structure and Text Features 
Lin Zefei'^ Ou Shiyan' 
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? College of Social Development, Fujian Normal University, Fuzhou 350007 


Abstract: | Purpose/significance | Relation prediction is an important task in knowledge graph completion , and 


04.00049v1 


ys an important role in improving the completeness of knowledge in knowledge graphs. The paper proposes a new 
Cfelation prediction method that combines internal structure features and external text features, which aims to predict 

missing relations between two entities in knowledge graphs. | Method/process | The method transforms the rela- 
E paths in a knowledge graph and the texts that involve entity relationships into matrixes, learns the structure fea- 
fures and text pattern features related to a specific relation type through convolutional neural networks, and then 
Shins a model based on the learned features for relation prediction. | Result/conclusion | The results shows that the 
performance of our proposed method on evaluation data sets is superior to the state-of-the-art approaches, and the 
Shoa can effectively improves the performance of knowledge graph relationship prediction. Through practical appli- 


ion, it wvas found that this method has high application value in knowledge services. 


Keywords: knowledge graph relation prediction feature fusion deep learning 
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